Matsukata sinh ra trong một gia đình samurai Kagoshima, thuộc tỉnh Satsuma (ngày nay là tỉnh Kagoshima). Ở tuổi 13, ông học tại trường Zoshikan, một trường dạy học về Nho giáo của lãnh địa Satsuma, tại đó Matsukata học về nhà triết học người Trung Quốc Vương Dương Minh.

Ông bắt đầu sự nghiệp là một viên quan của lãnh địa Satsuma. Năm 1866, ông được gửi tới Nagasaki để học khoa học, toán học, và đo lường của phương Tây. Matsukata được Okubo Toshimichi và Saigō Takamori đánh giá rất cao, họ dùng ông như là cầu nối giữa Kyoto và chính quyền ở Kagoshima. Vào thời kỳ Cải cách Minh Trị, ông giúp cho việc duy trì trật tự tại Nagasaki sau sự sụp đổ của mạc phủ Tokugawa. Năm 1868, Matsukata được chính quyền Minh Trị bổ nhiệm làm tỉnh trưởng tỉnh Hita (một phần của tỉnh Ōita ngày nay).